Cloudera Manager和CDH快速入门指南

发表于 | 更新于 | 分类于 ，

Cloudera Manager和CDH快速入门指南

本快速入门指南介绍如何在四台主机的集群上快速创建Cloudera Manager 5，CDH 5和托管服务的新安装。生成的部署可用于演示和概念验证应用程序，但不推荐用于生产。

继续阅读：

  • 快速启动群集主机要求
  • 下载并运行Cloudera Manager服务器安装程序
  • 在RHEL 5和CentOS 5上，安装Python 2.6或2.7
  • 启动Cloudera Manager管理控制台
  • 使用Cloudera Manager向导安装和配置软件
    • 选择Cloudera Manager Edition和指定主机
    • 安装CDH和托管服务软件
    • 添加和配置服务
  • 测试安装
    • 运行MapReduce作业
    • 使用Hue测试

快速启动群集主机要求

集群中的四台主机必须满足以下要求：

  • 主机必须至少有10 GB RAM。
  • 您必须对主机具有root或无密码sudo访问权限。
  • 如果使用root，主机必须接受相同的root密码。
  • 主机必须具有Internet访问权限才能允许向导从中安装软件 archive.cloudera.com。
  • 运行支持的操作系统：
    • 请参阅CDH 5和Cloudera Manager 5要求和支持的版本。
    • SLES - SUSE Linux Enterprise Server 11,64位。需要Service Pack 2或更高版本。Updates存储库必须是活动的，并且需要SUSE Linux Enterprise Software Development Kit 11 SP1。
    • Debian - Wheezy（7.0和7.1），64位。
    • Ubuntu - Trusty（14.04）和（Precise）12.04,64位。

如果您的环境不满足这些要求，则本指南中描述的过程可能无法正常工作。有关其他Cloudera Manager安装选项和要求的信息，请参阅 安装Cloudera Manager和CDH。

下载并运行Cloudera Manager服务器安装程序

将Cloudera Manager安装程序下载到要安装Cloudera Manager Server的集群主机：

  1. 在Web浏览器中打开Cloudera Manager下载。
  2. 在Cloudera Manager框中，单击立即下载。

  3. 单击下载Cloudera Manager以下载最新版本的安装程序或单击选择不同的版本以下载较早版本。
    将显示产品兴趣对话框。

  4. 点击登录并输入您的电子邮件地址和密码，或填写产品兴趣表单，然后点击继续。
    将显示Cloudera标准许可证页面。

  5. 接受许可协议并单击提交。
    显示自动安装说明。您还可以查看系统要求和发行说明，您可以转到文档。

  6. 下载安装程序：
    $ wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

  7. 更改 cloudera-manager-installer.bin 具有可执行权限：
    $ chmod u + x cloudera-manager-installer.bin
  8. 通过执行以下操作之一运行Cloudera Manager Server安装程序：
    • 从Internet安装Cloudera Manager软件包：$ sudo ./cloudera-manager-installer.bin
    • 从本地存储库安装Cloudera Manager软件包：$ sudo ./cloudera-manager-installer.bin --skip_repo_package = 1
  9. 阅读Cloudera Manager README，然后按Return或Enter选择Next。
  10. 阅读Cloudera Express许可证，然后按Return或Enter选择下一步。使用箭头键，然后按Return或Enter选择是以确认您接受许可证。
  11. 阅读Oracle二进制代码许可协议，然后按Return或Enter选择 Next。
  12. 使用箭头键，然后按Return或Enter选择是以确认您接受Oracle二进制代码许可协议。发生以下情况：
    • 安装程序将安装Oracle JDK和Cloudera Manager存储库文件。
    • 安装程序将安装Cloudera Manager Server和嵌入式PostgreSQL软件包。
    • 安装程序启动Cloudera Manager Server和嵌入式PostgreSQL数据库。
  13. 安装完成后，将显示Cloudera Manager管理控制台的完整URL，包括端口号，默认情况下为7180。按Return或Enter选择确定继续。
  14. 按Return或Enter选择确定以退出安装程序。

在RHEL 5和CentOS 5上，安装Python 2.6或2.7

CDH 5 Hue仅与安装在其上的操作系统的默认系统Python版本一起工作。例如，在RHEL / CentOS 6上，您需要使用Python 2.6启动Hue。
要从EPEL存储库安装软件包，请将相应的软件包RPM软件包下载到您的计算机，然后使用安装Python yum。例如，对RHEL 5或CentOS 5使用以下命令：

$ su -c'rpm -Uvh http://download.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm'
... ...
$ yum install python26

启动Cloudera Manager管理控制台

  1. 等待几分钟，Cloudera Manager Server启动。要观察启动过程，请运行tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log在Cloudera Manager Server主机上。如果Cloudera Manager Server未启动，请参阅 排除安装和升级问题。
  2. 在Web浏览器中，输入 http：// 服务器主机：7180，其中Server主机是运行Cloudera Manager Server的主机的FQDN或IP地址。
    将显示Cloudera Manager管理控制台的登录屏幕。
  3. 使用凭据登录到Cloudera Manager管理控制台：用户名： 管理员 密码： 管理员。
  4. 登录后，将显示“ Cloudera Manager最终用户许可条款和条件”页面。阅读条款和条件，然后选择是接受它们。
  5. 单击继续。将显示欢迎使用Cloudera Manager页面。

使用Cloudera Manager向导安装和配置软件

在群集主机上安装和配置Cloudera Manager，CDH和托管服务软件涉及以下主要步骤。

继续阅读：

  • 选择Cloudera Manager Edition和指定主机
  • 安装CDH和托管服务软件
  • 添加和配置服务

选择Cloudera Manager Edition和指定主机

  1. 选择Cloudera企业 数据中心版试用版，它不需要许可证，但在60天后过期，无法续订。试用版允许您创建Cloudera Manager支持的所有CDH和托管服务。单击继续。
  2. 将显示信息，指示将安装Cloudera Manager的哪个版本以及您可以选择的服务。单击继续。将显示“指定CDH群集安装的主机”屏幕。
  3. 指定要在其上安装CDH和托管服务的四个主机。您可以指定主机名或IP地址和范围，例如：10.1.1。[1-4]或主机[1-3] .company.com。您可以通过用逗号，分号，制表符或空格分隔多个地址和地址范围，或将它们放在单独的行上。
  4. 单击搜索。Cloudera Manager标识集群上的主机。验证显示的主机数量与要安装服务的主机数量匹配。清除不存在的主机条目，并清除不想安装服务的主机。单击继续。将显示“选择存储库”屏幕。

安装CDH和托管服务软件

  1. 保留默认分发方法使用宗地和CDH的默认版本5.将“其他宗地”选项保留为“无”。
  2. 对于Cloudera Manager Agent，保留此Cloudera Manager Server的默认匹配版本。单击继续。将显示“JDK安装选项”屏幕。
  3. 选择安装Oracle Java SE开发工具包（JDK）复选框以允许Cloudera Manager在每个群集主机上安装JDK或取消选中是否打算自行安装。保持安装Java无限强度加密策略文件复选框。单击继续。将显示“启用单用户模式”屏幕。
  4. 将单用户模式复选框清除，然后单击继续。此时将显示“提供SSH登录凭据”页面。
  5. 指定主机SSH登录属性：
  6. 保留默认登录根目录或输入具有无密码sudo权限的帐户的用户名。
  7. 如果选择使用密码验证，请输入并确认密码。
  8. 单击继续。Cloudera Manager在每个主机上安装Oracle JDK和Cloudera Manager Agent软件包，并启动代理。
  9. 单击继续。将显示“安装所选宗地”屏幕。Cloudera Manager安装CDH。在包裹安装过程中，会在单独的进度条中指示包裹安装过程的各个阶段的进度。当屏幕底部的继续按钮变为蓝色时，安装过程完成。
  10. 单击继续。主机检查器运行以验证安装，并提供其查找的摘要，包括已安装组件的所有版本。单击“完成”。将显示群集设置屏幕。

添加和配置服务

  1. 选择所有服务以创建HDFS，YARN（包括MapReduce 2），ZooKeeper，Oozie，Hive，Hue，Sqoop，HBase，Impala，Solr，Spark和Key-Value Store Indexer服务。单击继续。将显示自定义角色分配屏幕。
  2. 配置以下角色分配：
    • 单击HBase Thrift Server角色下的文本字段。在显示的主机选择对话框中，选中任何主机旁边的复选框，然后单击右下角的确定 。
    • 单击ZooKeeper服务的服务器角色下的文本字段。在显示的主机选择对话框中，取消选中默认分配的主机（主主机）旁边的复选框，并选中其余三台主机旁边的复选框。单击右下角的确定。
  3. 单击继续。显示数据库设置屏幕。
  4. 保留使用嵌入式数据库的默认设置，以使Cloudera Manager在嵌入式PostgreSQL数据库中创建和配置所有必需的数据库。单击测试连接。测试完成后，单击继续。将显示“查看更改”屏幕。
  5. 查看要应用的配置更改。单击继续。将显示“命令进度”页面。
  6. 向导将执行32个步骤来配置和启动服务。启动完成后，单击继续。
  7. 将显示一条成功消息，指示集群已成功启动。单击完成以继续到首页 > 状态选项卡。

测试安装

在屏幕的左侧是当前运行的服务及其状态信息的列表。所有服务应以良好 运行状态运行，但是可能有少量配置警告由扳手图标和数字指示，您可以忽略它。

您可以单击每个服务以查看有关服务的更多详细信息。您还可以通过运行MapReduce作业或使用Hue应用程序与群集交互来测试安装。

运行MapReduce作业

  1. 登录到群集主机。

  2. 运行Hadoop PiEstimator示例：

    sudo -u hdfs hadoop jar \
    /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
    pi 10 100

  3. 通过从Cloudera Manager管理控制台顶部导航栏中选择以下内容来查看运行作业的结果：集群 > 集群名称 > YARN应用程序。您将看到如下所示的条目：
    <img src="" alt="">

使用Hue测试

测试集群的一个好方法是运行作业。此外，您可以通过运行其中一个Hue Web应用程序来测试集群。Hue是一个图形用户界面，允许您通过运行允许浏览HDFS，管理Hive元数据转储，运行Hive，Impala和搜索查询，Pig脚本和Oozie工作流的应用程序与群集进行交互。

  1. 在Cloudera Manager管理控制台首页 > 状态选项卡中，单击Hue服务。
  2. 单击Hue Web UI链接，它将在新窗口中打开Hue。
  3. 使用凭据登录，用户名： hdfs，密码： hdfs。
  4. 在浏览器窗口顶部的导航栏中选择一个应用程序。